Современные высокопроизводительные вычисления сталкиваются с фундаментальным "стеной памяти": взрывное увеличение производительности вычислений (FLOPS) значительно превзошло скромный рост общей памяти пропускной способности. Эта несоответствие превращает массивные многоядерные системы в «голодные» процессоры, ожидающие данные.
1. Разрыв пропускной способности
Хотя видеокарта может выполнять триллионы операций в секунду, физический путь к ОЗУ ограничен плотностью контактов и требованиями к энергопотреблению. Память как фактор, ограничивающий параллелизм означает, что при увеличении количества потоков пропускная способность на поток снижается, что приводит к циклам ожидания, когда оборудование простаивает.
2. Аналогия с кухней
Представьте современную кухню (ядра видеокарты), способную готовить 1000 блюд в час. Однако ингредиенты находятся в складе (общей памяти) в пяти милях отсюда, и есть только один доставочный скутер (шину памяти). Независимо от того, сколько поваров вы нанимаете, ваш выход ограничен скоростью скутера.
3. Архитектурное противопоставление
Стандартная многопроцессорная система ЦП использует огромные кэши для маскировки задержек для нескольких тяжелых потоков. Массивные параллельные архитектуры, напротив, сталкиваются с постоянным «затором» одновременных запросов. Ограничения ресурсов на уровне регистров и общей памяти определяют максимальный уровень параллелизма (загрузку), достижимый до перегрузки оборудования.